Entropie conditionnelle de \(X\) et \(Y\)
$$H(X|Y)=-\sum_{x\in\mathcal X}\sum_{y\in\mathcal Y}p_{XY}(x,y)\log_2(p_{X|Y}(x|y))$$

• correspond à l'incertitude restante sur \(X\) lorsqu'on connaît \(Y\)
    
• si \(X\) et \(Y\) sont respectivement l'entrée et la sortie du canal, alors \(H(X|Y)\) correspond à l'incertitude restant sur le symbole émis une fois qu'on l'a reçu
• \(H(X|Y)\geqslant\) \(0\), avec égalité si et seulement si les deux sources contiennent exactement la même information
• \(H(X|Y)\leqslant\) \(H(X)\), avec égalité si et seulement si \(X\) et \(Y\) sont indépendantes
    
• ⚠ à retenir : "le conditionnement réduit l'entropie" ⚠
• autre formule : $$H(X|Y)=\sum_{y\in\mathcal Y}H(X|Y=y)p_Y(y)\quad\text{ avec }\quad H(X|Y=y)=-\sum_{x\in\mathcal X}P_{X|Y}(x|y)\log_2(P_{X|Y}(x|y))$$
• ce concept peut être étendu à \(n\) variables, avec la formule : $$H(X_{1:n}|Y)=\sum^n_{i=1}H(X_i|X_{1:i-1},Y)$$
• formule avec trois variables : \(H(X,Y|Z)=\) \(H(X|Y,Z)+H(Y|Z)=H(Y|X,Z)+H(X,Z)\)

Questions de cours

Montrer que $$H(X|Y)\leqslant H(X)$$ et qu'on a égalité si et seulement si \(X\) et \(Y\) sont indépendantes.

Il suffit d'utiliser la formule qui lie l'entropie conditionnelle à l'entropie conjointe, puis de majorer cette dernière.

START
Ω Basique (+inversé optionnel)
Recto: Comment représenter l'entropie conditionnelle \(H(X|Y)\) sur un diagramme de Venn ?

Verso:

Bonus:
Carte inversée ?:
END

Exercices

Soient deux variables aléatoires discrètes \(X,Y\) identiquement distribuées mais pas nécessairement indépendantes.
On considère la quantité $$\rho=1-\frac{H(X_2|X_1)}{H(X_1)}.$$
Montrer que \(0\leqslant\rho\leqslant 1\) et préciser les cas extrêmes.

On peut interchanger les variables puisqu'elles sont identiquement distribuées \(\to\) puisque conditionner réduit l'entropie, on a les bornes demandées.

Si \(\rho\) est nulle, alors les deux v.a. Sont indépendantes.

Si \(\rho=1\), alors l'une des deux v.a. Est fonction de l'autre, et cette fonction est injective par symétrie.

On considère une chaîne de Markov \(X\to Y\to Z\).
Montrer que $$H(X|Y)=H(X|Y,Z)\quad\text{ et }\quad H(Z|Y)=H(Z|Y,X).$$

L'écriture de \(H(X|Y,Z)\) se simplifie via la chaîne de Markov.

On conclut ensuite en explosant le \(\log\) et en simplifiant les sommes redondantes.

On considère une chaîne de Markov \(X\to Y\to Z\).
Montrer que \(H(X|Y)\leqslant H(X|Z)\).

On peut faire apparaître un deuxième conditionnement via la chaîne de Markov.

On peut enlever un conditionnement pour réduire l'entropie.

'information